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伟大 的 科学 家 一 香农 


“通信 的 基本 问题 束 是 在 一 捉 重 新 准确 地 或 近 
似 地 再 现 妨 一 点 所 选择 的 消息 ”。 


a 这 是 数学 家 香农 (Claude E.Shannon) 在 他 
的 惊 世 之 著 《 通 信 的 数学 理论 》 中 的 一 句 名 言 。 
正 是 沿 着 这 一 思路 他 应 用 数理 统计 的 方法 来 研 
究 通 信 系统， 从 而 创立 了 影响 深远 的 信息 论 。 


伟大 的 科学 家 一 香农 
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Study at Princeton) 期 间 开 始 思 
过 8 年 的 努力 ， 香 农 在 1948 年 6 月 
System Technical Journal) 上 i 
EV 1949, RIER 
的 通 vL 文中 ， 香 农 | 
PRIN RRS Se 
计 特 性 、 RR, 信道 编码 等 
信息 论 的 葛 基 性 著作 。 
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香农 的 页 献 


加 "bacis ecl 论 ”， 标 志 着 信息 论 的 诞 


: ree a tha 为 信道 编码 葛 定 理论 基 
i 

s 1949 年 发 表 “ 保 密 通 信 的 信息 理论 "， 首 先 用 信息 论 的 
观点 对 信息 保密 问 题 作 了 全 面 的 论述 ， 

a 1959 年 发 表 “ 保 真 度 准则 下 的 离散 信 源 编码 定理 ”- 提 
Hifa. 言 息 率 失真 理论 ， 为 信 源 压缩 编码 研究 黄 定 理论 基 


s 1961 年 发 表 “ 双 路 通信 信道 "， 开 拓 了 多 用 户 信息 理论 
(网 络 信 息 论 ) 的 研究 ; 


信息 论 基 础 的 重要 性 


a 信息 论 是 信息 科学 和 技术 的 基本 理论 ,信息 科 
学 大 厦 的 地 基 ; 

a 没有 信息 论 的 基础 ， 从 事 通 信和 与 信息 领域 的 研 
究 和 创新 是 不 可 能 的 事情 ; 

a 总 之 ,信息 论 是 高 层次 信息 技术 人 才 必 不 可 少 
的 基础 知识 。 
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果 程 类 型 : 专业 选修 课 


M Ay: 54 

教 E: 《信息 论 与 编码 》, 陈 运 , 周亮 ， 陈 新 ， 电 子 工业 
出 版 社 ， 2002 

参考 教材 : 


Q << 信 息 论 基础 >> (Elements of Information Theory, 英文 影 
印 ) ,Thomas M.Cover, Joy A.Thomas ,清华 大 学 出 版 社 ，2003 


@《<< 信 息 论 与 编码 理论 >>(The Theory of Information and 
Coding, 英 文 影印 版 )( 第 2 版 ), Robert J.McEliece, 电 子 工 业 出 版 社 ， 
2005.3 

考 Ks 平时 成 绩 40% (人 作业、 考勤、 期 中 测验 ) 
期 末 考 试 60% (闭卷 ) 


上 课 地 点 、 时 间 ， 


a 星期 一 , 第 3-4 节 (9:50-11:25 AM, 测绘 校区 ， 附 
1-603 (Every week 1-18) 
a 星期 三 ,第 3-4 节 (9:50-11:25 AM), 测绘 校区 ， 附 
1-603 (0dd week 1-18) 
答疑 地 点 、 时 间 : 
o ”地 点 : 教学 实验 大 楼 十 楼 信号 处 理 实验 室 - 1008; 
2 ， 时间: 星期 四 ，2: 30-5: 00, PM 
o 其它 答疑 方式 : 
s ”电子 邮件 : ywOeis. whu. edu. cn; 
办 公 电 话 : 027-68778181 
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Here you 
can find me! 










E-mail: ywGeis.whu.edu.cn 
Tel(O): 027-68778181 





1 概论 (2 学 时 ) 

1.1 信息 的 一 般 概念 

1.2 信息 的 分 类 

1.3 信息 论 的 起 源 、 发 展 及 研究 内 容 
2 FRR a2) 

2.1 单 符号 离散 信 源 

2.2 多 符号 离散 平稳 信 源 

2.3 XE bei Usi 

2.4 离散 无 失真 信 源 编码 定理 
3 信道 容量 (8 学 时 ) 

3.1 信道 的 数学 模型 和 分 类 
3.2 单 符号 离散 信道 的 信道 容量 
3.3 多 符号 离散 信道 

3.4 多 用 户 信 道 

3.5 连续 信道 

3.6 信道 编码 定理 





4 信息 率 失 真 函数 〈6 学 时 ) 


4.1 基本 概念 


4.2 离散 信 源 的 信息 率 失真 函数 
4.3 连续 信 源 的 信息 率 失真 函数 
4.4 保 真 度 准则 下 的 信 源 编码 定理 


5 信 源 编码 (6 学 时 ) 
5.1 香农 编码 

5.2 费 诺 编码 

5.3 哈 夫 曼 编码 

5.4 游程 编码 

5.5 宛 余 位 编码 

6 信道 编码 (16) 
6.1 信道 编码 的 概念 

6.2 线性 分 组 码 

6.3 循环 码 

6.4 卷 积 码 

7 保密 信息 理论 (4) 
7.1 密码 学 的 基本 知识 
7.2 数据 加 密 标准 DES 

7.3 国际 数据 加 密 算法 
7.4 公开 密 钥 加 密 原 理 


教学 目标 


a ANEM AAEE NA 
2 PAAR EEA WN fs AEWA A XE E 
3 Seen eee 


s 通过 学 习 和 习题 练习 ， 有 具备 一 定 的 解决 问题 分 
析 问 题 的 能 力 

a 向 握 一 定 的 科学 思想 方法 (用 信息 论 的 思想 和 
X ex) 


本 课程 以 概率 论 为 基础 ， 数 学 推导 较 多 ， 学 
习 时 主要 把 注意 力 集中 到 概念 的 理解 上 ， 不 过 分 
奶 求 数学 细节 的 推导 。 学 习 时 一 定 要 从 始 至 终 注 
意 基本 概念 的 理解 ， 不 断 加 深 概 念 的 把 握 。 学 习 
时 注意 理解 各 个 概念 的 "用 处 ”， 结 合 其 他 课程 理 
解 它 的 意义 ， 而 不 要 把 它 当 作 数 学 课 来 学 习 ， 提 
倡 独立 思考 ， 注 重 思考 在 学 习 中 的 重要 性 。 


对 学 习 者 的 要 来 


NE 

a 课表 预习 

a 课 上 认真 听讲 

3 课 后 认真 复习 消化 、 作 业 

s 经 和 进行 阶段 复习 
a 掌握 知识 的 守 诀 : 反复 思维 实践 

a 欢迎 大 家 及 时 提出 反馈 意见 ， 以 便 更 好 的 进行 
互动 教学 。 





其 他 约定 


a AIRS). FUR. RR, ASR 

a 上 课时 请 关闭 手机 

2 作业 不 得 用 纸 片 信纸 之 类 ， 必 须 使 用 作业 本 
a ee eee: 只 作 记 


计 分 万 式 


a 最 后 期 终 考 试 成 绩 占 60% 
a 平时 成 绩 占 20% (作业 20 % 十 考勤 10%) 
a 作业 : 一 次 不 交 扣 1 分 ， 无 故 缺 席 一 次 扣 1 分 ， 述 到 
一 次 扣 0.5 分 
o 手机 声 啊 扣 1 分 
a 严重 违反 课堂 纪律 ， 视 情节 轻重 扣 分 
a 期 中 考核 占 10% 


工 概论 


1.1 信息 的 一 般 概念 
1.2 信息 的 分 类 
1.3 信息 论 的 起 源 、 发 展 及 研究 内 容 





1.1 信 f. | — Ak 76, 2 


(1) 当代 文明 的 三 大 支柱 

(2) 信息 是 什么 ? 

(3) 香农 和 维 纳 对 信息 的 定义 
(4) 信息 的 定义 和 性 质 


(1) 5 A x: 9] HAAR 


信息 科学 、 材 料 科学 和 能 源 科 学 一 起 被 称 为 当代 文 

明 的 “三 大 文 柱 ”"。 是 科学 历史 上 三 个 最 重要 的 基本 概念 。 
a 没有 物质 的 世界 是 虚无 的 世界 ; 
a 没有 能 源 的 世界 是 死 和 的 世界 ; 
a 没有 信息 的 世界 是 混乱 的 世界 。 


le why 
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(2) 信息 是 什么 ? 


(从 通信 谈 起 一 通信 系统 的 基本 概念 
D 信息 科学 的 有 天 概 念 

J ”信息 与 消息 和 信号 的 区 别 

J 各 种 信息 的 概念 

3 信息 的 直观 认识 





GD 通信 系统 的 基本 概念 


。 从 通信 谈 起 ， 

- 通信 的 目的 是 传输 信息 ， 即 传递 消息 。 

。 近 代 的 通信 特 指 *“ 电 通信 ”。 

-通信 系统 的 主要 任务 是 借助 电信 号 这 种 载体 来 传输 


> 信息 (Information) 、 消 息 (Message) 、 信 号 


(Signal) 就 成 为 人 们 最 党 使 用 的 3 个 基本 术语 





> 它们 的 确切 定义 及 基本 含义 是 什么 ? 


(DD 通信 系统 的 基本 概念 






E 
最 简单 的 通信 系统 模型 


三 个 基本 单元 : 信 源 (Source) 、 信 道 
(Channel) #11 (Destination) 。 


GD 通信 系统 的 基本 概念 


a 信 源 是 提供 消 恩 的 人 人、 设备 或 事物 。 

2 打 电 话 时 人 发 出 的 声音 

2 BIRPI -EVESEBUR AUT 制作 好 的 可 供 浏览 的 网 
页 

3 广播 、 电 视 发 送 的 节目 信号 

3 天 体 天 电信 和 号 

人 们 最 感 兴趣 的 是 信 源 给 出 的 消 居 。 

消息 是 由 符号 、 文 字 、 数 字 、 语 声 、 图 像 等 

组 成 的 序列 。 


GD 通信 系统 的 基本 概念 


消息 通 利 具有 如 下 特征 : 


(1) 消息 可 以 产生 、 传 递 和 获取 
o 消息 是 客观 的 、 可 感知 的 ， 但 它 看 不 见 、 摸 不 着 
， 传递 要 信 助 于 城 体 或 媒质 ) ， 用 载体 传送 ， 从 载体 中 取出 
o 载体 是 消息 的 物理 体现 ， 如 : 
= ”在 纸 上 写 字 ， 
= ”用 磁带 、 光 碟 、 存 储 器 等 记录 语音 、 图 像 、 数 据 
END A ES R RRE, AMENAR 
2 信号 是 一 种 载体 ， 是 消息 的 物理 体现 ， 它 使 消息 能 够 看 得 见 ， 
变 得 具体 化 
a AIDE MRR RT ATA RORBIRUR V 的 波形 、 频 谱 等 
结构 ， 构 成 比较 完善 的 信和 号 








GD 通信 系统 的 基本 概念 


(2) 消息 是 有 内 容 的 

o 消息 的 内 容 是 客观 存在 的 

o 对 消息 的 接受 者 来 说 ， 消 息 有 新 、 旧 或 已 知 、 未 知 
之 分 ， 有 用 、 无 用 及 有 大 用 、 小 用 之 别 

a 客观 存在 的 消息 ， 对 不 同 的 接收 者 来 说 ， 其 性 质 、 
作用 不 同 





B 


fe AE MANIA TCE P ER AAKA ERA S 
主观 因素 ， 从 而 产生 了 信息 理论 及 其 各 种 分 文 。 


(通信 系统 的 基本 概念 


消息 从 信 源 通过 信道 到 信 宿 ， 如 何 有 效 、 可 靠 地 伟 
这 系统 要 解决 的 根本 问题 。 


a AMANE (Validity) 
a 消息 者 在 信 源 中 先 去 粗 取 精 ， 则 必 能 提高 通信 的 有 效 性 
: pa 即 信 源 编码 (Source Coding) 要 解决 的 主 
JA 


a 再 说 可 徘 性 (Reliability) 
a ”信和 宿 对 接收 到 的 “消息 ” 若 能 够 进行 判断 、 评 佑 ， 去 伪 存 真 的 处 
理 ， 则 必 能 提高 通信 的 可 靠 性 
a ”对 数字 通信 来 说 ， 信道 编码 (Channel Coding) 的 主要 任务 
就 是 解决 这 个 问题 


GD 通信 系统 的 基本 概念 


信息 理论 最 初 观 是 从 解决 通信 系统 的 有 效 


性 和 可 靠 性 而 发 展 起 来 的 ， Wis va. 信道 、 
LA CEU eee Ee SRNR) 2 





E 5 
为 此 ， 本 章 首 先 给 出 信 源 、 信 道 、 信 宿 的 比较 
确切 的 定义 ， 然 后 再 讨论 信息 的 涵义 


GD 通信 系统 的 基本 概念 


a 信 源 : 
iE ae eE A 


o 信 源 输出 的 是 以 符号 形式 出 现 的 具体 消息 ， 它 载荷 信息 。 
o 信 源 输出 的 消 轧 有 多 种 形式 : 
* Bid BO e AR q^ 
OUTCe 
BI EE te fei O8 2c ch BITES TEST TRU S SE Cae EOC AR], AUTE: 
Bh. XC. HORAM EARR GE PLUR EG 
a 后 者 指 在 时 间 和 幅度 上 都 是 连续 分 布 的 ， 如 话音 、 图 像 等 。 


GD 通信 系统 的 基本 概念 
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GD 通信 系统 的 基本 概念 


E RIE: 


消息 传递 的 对 象 ， 即 接收 消息 的 人 、 设 备 
SY. MIR, RMI, H 
形式 可 以 与 信 源 发 出 相同 ， 也 可 以 不 同 。 当 两 
HEADH, NE 





思 信 息 科 学 的 有 关 概 念 


信息 的 一 般 含 义 及 定义 


a 从 通信 的 实质 意义 来 讲 ， 如 果 信和 宿 收 到 的 消息 是 已 
知 的 ， 则 等 于 没有 收 到 任何 消息 

a 因此 ， 人 们 更 感 兴趣 的 是 消 恩 中 所 包含 的 未 知 的 成 
分 ， 用 概率 论 的 术语 来 说 ， 就 是 具有 不 确定 性 的 成 
分 。 消 息 中 这 种 未 知 的 或 不 确定 的 成 分 ， 通 利和 被 称 
为 消息 中 所 包含 的 信息 。 


d n 通信 中 的 信息 、 消 息 和 信号 是 紧密 相 联 








Oh EBS OA ABS 


信息 的 一 般 含义 及 定义 


a 教科书 对 消息 和 信号 有 明确 的 定义 
a 但 如 何 给 信息 下 定义 始终 是 个 困扰 大 家 的 问题 。 
: 我 国 的 《 知 海 》 对 信息 作 了 如 下 解释 : 

D 信息 : 通信 系 统 传输 和 处 理 的 对 象 ， P S ST 信号 的 具 
容 和 意义 。 通 常 须 通 过 处 理 和 分 析 来 提取 。 信 息 、 
BARD RRM EKER. ER LEJOS LOU 
X. 3 如 在 接收 端 无 法 预 传 消息 CAE TP BSH A BAS 
即 预 估 的 可 能 e PE] , 信息 心里 量 就 越 


义 
。 此 解释 首先 肯定 了 信息 、 消 息 和 信号 的 密 不 可 分 性 





@ 信 息 科 学 的 有 关 概 念 


。 即将 出 版 的 《科学 技术 大 系 》 将 这 三 者 合 在 一 起 加 以 说 明 : 


iH, 
人 、 生 物 、 机 器 ) 所 感受 的 或 所 表达 
和 和 运动 状态 变化 的 方式 。 信 息 是 人 们 
ot ee 同 外 部 世界 


BACC RU 之 前 ， 对 它 的 内 容 是 不 知道 的 ， 所 以 信息 是 
小 WA 

E sa - 事物 的 未 知性 或 不 确定 性 减少 的 有 用 知 
a 信息 可 以 产生 ， 也 可 以 消失 ， 同 时 信息 可 以 被 携带 、 贮 存 及 处 


E 信息 是 可 以 量度 的 ， 信息 量 有 多 少 的 差别 。 


ni 
X wi 
a 





OLE f. 科 学 9 | 有 关 概念 


1 消息 是 指 包 含有 信息 的 语言 、 文 字 和 图 像 等 。 
s 消息 中 的 不 确定 成 分 是 信息 。 

s 在 通信 中 ， 消 息 是 指 担 负 寿 传送 信息 任务 的 单个 符号 或 
从 号 序列 。 

s 这 里 的 符号 包 插 文本、 数据、 语言 、 图 形 和 图 像 等 。 

s 消息 是 具体 的 ， 它 载 傈 信息 ， 但 它 不 是 物理 性 的 。 

- 信号 是 消息 的 物理 体现 ， 为 了 在 信道 上 传输 消 _ 
Eo ADEN ENR ARABERE 
EI o 

s 信号 是 信息 的 载 傈 子 或 载体 ， 它 是 物理 性 的 。 

a 在 近代 通信 中 信号 往往 是 电信 号 和 光 信 号 。 





LEA: Q 科 E 的 有 关 概 念 


应 该 说 ， 以 上 两 种 解释 具有 代表 性 和 一 定 的 权威 
性 ， 都 力图 对 信息 给 出 正确 及 全 面 的 定义 。 然 
而 ， 信 息 科 学 还 在 飞速 发 展 ， 人 们 对 信息 也 不 灯 
RTIA, AS LEY EE Me ts I 
EE 史 ， itid 的 将 来 ， JAN 





为 此 ， 先 讨论 信息 科学 的 有 关 概念 及 信息 理论 研 
究 的 主要 内 容 ， 再 回 过 头 来 看 看 这 些 定义 ， 也 许 
会 有 更 深 的 理解 。 





GO 信息 科学 的 有 关 概 念 

信息 与 消息 和 信号 的 区 别 

a di: 是 指 包 含有 信息 的 语言 、 文 字 和 图 像 等 ， 
可 表达 客观 物质 运动 和 主观 思维 活动 的 状态 。 

证 息 必须 依附 于 一 定 的 物质 形式 存在 ， 这 种 运载 信息 的 物 
质 ， 称 为 信息 载体 。 

消息 中 包含 信息 ， 是 信息 的 载体 。 

同一 信息 可 用 不 同 的 消息 形式 来 载荷 。 

一 则 消息 也 可 载荷 个 同 的 信息 ， 可 能 包含 丰 禄 的 信息 ， 也 
可 能 包含 很 少 的 信息 ISIN 

消息 和 信息 既 有 区 别 又 有 联系 . 
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@gO 信 息 科 学 的 有 关 概 念 

-信息 与 消息 和 信号 的 区 别 

a fas: 把 消息 KAREME RRA NAE, 这 种 
物理 量 称 为 信号 (如 电信 各、 MM 声音 信号 等 ) 。 

> 信号 携带 着 消息 ， 它 是 消息 氛 

> 信号 1 E a, 但 不 是 信息 本 身 ， 

> 同一 信 ， SATE 

> 同一 信号 也 可 表示 不 同 的 信息 





思 信 息 科 学 的 有 关 概 念 
-各 种 信息 的 概念 
a 信息 是 信息 论 中 最 基本 、 最 重要 的 概念 ， 它 是 一 个 既 抽 象 
MEA d o 
di 念 是 在 实践 中 产生 ， 以 前 一 直 被 看 作 是 消息 的 同 
词 。 
a 信息 的 概念 十 分 广泛 ， 不 同 的 定义 在 上 百 种 以 上 。 
> 信息 是 事物 之 间 的 差异 ; 
> 信息 是 事物 联系 的 普遍 形式 ; 
> 信息 是 物质 的 普遍 属性 . 
a 数学 家 认为 ， 信息 是 使 概率 分 布 发 生 改 变 的 东西 。 
ky AAA 信息 是 物质 的 意识 成 分 按 完全 特殊 的 方式 融合 起 来 的 





四 信息 科学 的 有 关 概 念 
-信息 的 直观 认识 


第 一 个 里 要 概念; 信 进 上 传送 的 是 随机 变量 的 值 。 
注意 


. 这 就 是 说 ， 我 们 在 收 到 消息 之 前 ， 并 不 知道 消 
县 的 内 容 。 否 则 消息 是 没有 必要 发 送 的 。 
。 消息 随机 变量 有 一 个 概率 分 布 。 
。 消息 随机 变量 的 一 个 可 能 取 值 就 称 为 一 个 事件 。 





四 信息 科学 的 有 关 概 念 
-信息 的 直观 认识 


第 二 个 重要 概念 ， 事件 发 生 的 概率 越 小 ， 此 事件 合 
有 的 信息 量 就 越 大 。〔 不 太 可 能 发 生 的 事件 竞 然 
RET, ABO 


例 事件 “中 国足 球 队 5: 0 力克 韩国 足球 队 ” 含 有 的 信 
恩 量 大 。《〈 小 概率 事件 发 生 了 ， 事 件 信息 量 大 ) 
例 事件 “中 国足 球 队 0: 1 负 于 韩国 足球 队 ” 含 有 的 信 
恩 量 小 。《〈 大 概率 事件 发 生 了 ， 事 件 信息 量 小 ) 





四 信息 科学 的 有 关 概 念 
-信息 的 直观 认识 


第 三 个 重要 概念 : 消息 随机 变量 的 随机 性 越 大 ， 
此 消息 随机 变量 含有 的 信息 量 吏 越 大 。 

例 消息 随机 变量 X=“ 中 国足 球 队 与 巴西 足球 队 比 赛 的 结果 ”， 
则 消息 随机 变量 X 含 有 的 信息 量 小 。 

ROE A, IDUNA. LILI REPL RS RIB R 
量 小 。) 

例 消息 随机 变量 X=“ 意 大 利 足球 队 与 德国 足球 队 比赛 的 结 
果 ”， 则 消息 随机 变量 X 含 有 的 信息 量 大 。 

(随机 性 大 ， 可 预见 性 小 ， 因 此 该 消息 随机 变量 含有 的 信息 
FAY o 





@ 信 息 科 学 的 有 关 概 ; 
一 Az NS 的 直观 认识 


ap 


例 XX. 日 平均 气温 ， 类 黄陂 明 1 
日 平均 气温 ，W= 纽 约 明 日 平反 

X 与 Y 互 信息 量 大 ， 

X 与 Z 互 信息 量 小 得 多 ， 

X 与 W 互 信息 量 儿 乎 为 0。 





(3) 香 发 和 维 纳 对 信息 的 定义 


a TUM: 创立 了 信息 论 ， 但 并 没有 给 出 信息 的 确切 定义 ， 他 认为 “ 信 
息 是 事物 运动 状态 或 存在 方式 的 不 确定 性 的 描述 ”。 


i d. 
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a ZEA: 信息 论 的 创始 人 之 一 ， 把 人 与 外 部 环境 交换 信息 的 过 程 看 作 
是 一 种 广义 的 通信 过 程 。 后 来 才 认 识 到 “信息 既 不 是 物质 又 不 是 能 
量 ， 信 息 就 是 信息 ”。 即 信息 是 独立 于 物质 和 能 量 之 外 存在 于 客观 世 
界 的 第 三 要 素 。 





(4) 信息 的 定义 和 性质 


O 如 何 定义 信息 

@ “本 体 论 "层次 

© “认识论 "层次 

@ 香农 信息 论 及 其 性 质 


(D 如何 定义 信息 


a 各 种 信息 定义 的 差异 : 侧面 不 同 、 详 略 不 同 、 抽 象 程度 不 
同 、 概 括 层次 高 低 不 同 。 
: i MR 区 分 不 同 的 层次 ， 可 以 给 信息 下 不 同 的 
义 。 


http://www.survivor99.com/lcg/books/GIT/GY/ 
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a 最 高 层次 是 最 普 这 的 层次 ， 也 是 无 约束 条 件 的 层次 。 在 这 
个 层次 上 定义 的 信息 是 最 广义 的 信息 ， 使 用 范围 也 最 三 。 
: T MS XE MARR — Ro BEH BEI YO. ES 


P dici: 信息 是 该 事物 运动 的 状态 及 其 变化 
J 35 


© “Chast” BE ob 


认识 论 层 次 : 站 在 认识 主体 的 立场 上 。 即 信息 是 认识 主体 
(生物 或 机 器 ) 所 感知 的 或 所 表述 的 相应 事物 运动 状态 及 
其 变化 方式 。 

a BY 然 认识 论 比 本 体 论 的 层次 要 低 一 ， 所 定义 信息 的 使 用 
BEAR ， 但 是 信息 概念 AABLAADE SER 


s 全 信息 : 同 RUE 外 在 形式 /语法 信息 、 内 在 含义 /语义 信息 、 
效用 价值 / 语 用 信息 RY > 称 为 全 信息 。 

语法 信息 : 事物 运动 状态 和 状态 改变 的 方式 ; 

语义 信息 : 事物 运动 状态 和 方式 的 具体 含义 ; 

语 用 信息 : 事物 运动 状态 和 方式 及 其 含义 对 观察 者 的 效用 。 


V 


V 
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O “认识 论 "层次 


a 认识 论 层 次 的 信息 是 同时 考虑 语法 信息 、 语 义 信 
BAB FH fei EP] AL e 

2 本 体 论 信息 是 第 一 位 的 ， 认 识 论 信息 是 第 二 位 的 。 
前 者 从 纯 客 观 的 立场 来 定义 信息 ， 后 者 从 认识 主 
体 的 立场 来 定义 信息 。 

m 一 般 而 言 ， 在 人 类 所 及 的 有 限时 空中 ， 本 体 论 信 
忌 与 认识 论 信息 之 间 存 在 着 交互 作用 和 互相 转化 
Mer 其 过 程 与 人 类 认识 和 改造 世界 的 过 程 是 





OE 香农 信息 论 及 其 性 质 


a 香农 信息 论 层 次 : 考虑 事物 运动 状态 及 其 变化 方式 的 外 在 
形式 ， 实际 上 研究 的 古语 法 信息 ， 


”信息 的 定义 是 






四 信息 的 抽象 性 和 重要 性 
a 信息 的 5 条 主要 特征 
a 信息 的 11 条 重要 性 质 
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息 .的 抽象 性 和 重要 性 


> 抽象 性 : 信息 本 身 既 看 不 见 ， 又 摸 不 着 ， 没 有 气味 、 没 


有 颜色 、 没 有 形状 、 
抽象 的 东西 。 


> HEE: 信息 在 


没有 大 小 、 没 有 重量 .…...， 它 是 非常 


信息 化 程度 越 来 越 高 的 社会 中 将 起 到 越 


来 越 重要 的 作用 ， 是 比 物质 和 能 量 更 为 宝贵 的 资源 ， 全 面 
掌握 信息 的 概念 ， 正 确 、 及 时 、 有 效 地 利用 信息 ， 能 够 为 
人 类 创造 更 多 的 财富 。 


From Computer Desktop Encyclopedia 
Reproduced with permission. 
1996 Concentric Data Systems 


Turn your data 
into information. 


Information has "meaning" 


Information 


Structure 


From Computer Desktop Encyclopedia 
(3 2004 The Computer Language Co. Inc. 


document 


image 
spreadsheet 


drawing audio video 


Raster 


\recoras\ pages | rows 


and (display music bit- / 


column ) maps i rd 
m / 


Mete Vd 


N 


see is 
controlled 
by 
software. 


一 一 / 


N i 


What hardware sees 








E 信息 .的 S$ 条 主要 特征 


> 信息 来 源 于 物质 ， 叉 不 是 物质 本 映 ; 它 从 物质 的 运动 中 产 
生出 来 义 可 以 脱离 物质 而 相对 独立 地 存在 。 

> 信息 来 源 于 精神 世界 ， 但 义 不 局 限于 精神 领域 。 

> 信息 与 能 量 鼠 恩 相 关 ， 但 文 与 能 量 有 本 质 的 区 别 。 

> 信息 具有 知识 的 本 性 ， 但 又 比 知识 的 内 含 更 广泛 。 

> 信息 可 以 被 认识 主体 获取 和 利用 。 





上 信息 的 11 条 重要 性 质 


V 2D D AD ED "D Vv vv 4 


存在 的 普遍 性 :信息 存在 于 自然 界 、 人 类 社会 ， 其 本 质 是 运动 和 变化 的 . 
哪里 有 事物 的 运动 变化 ， 哪 里 就 会 产生 信息 。 它 处 处 存在 ， 它 既 区 别 于 物质 
和 能 量 ， 又 与 物质 和 能 量 有 相互 依存 的 关系 - 

ERE. 要 使 一 个 系统 从 无 序 变 为 有 序 ， 必 须 从 外 界 获取 信息 ， 
相对 性 :同一 个 齐 物 ， 不 同 的 观察 者 获得 的 信息 量 可 能 不 同 . 

可 度量 性 : 信息 的 多 少 用 信息 量 表示 。 

可 扩充 性 

可 和 存储、 传输 与 携 市 性 

可 压缩 性 ， 信息论 研究 的 主要 问题 之 一 ， 

可 替代 性 : 可 蔡 代 劳力 、 资 本 、 物 质 材料 、 时 间 。 

可 扩散 性 :可 在 短 时 间 内 较 大 范围 扩散 开 . 

可 共享 性 :没有 信息 的 共享 性 就 没有 人 类 社会 的 发 展 和 进步 ， 

时 效 性 : 信息 是 有 “寿命 ”的 。 


1.2 信 A. 的 分 类 


a 信息 的 定性 认识 和 定量 认识 。 
a 信息 是 一 种 非常 复杂 的 的 研究 对 象 ， 信 息 分 类 有 许多 不 同 
DERI EE 


(1) 信息 的 分 类 
(2) 我 们 研究 的 内 容 
(3) 香农 信息 论 的 缺陷 


(1) 信息 的 分 类 


按照 信息 性 质 : 
按照 观察 过 程 : 
按照 信息 地 位 : 
HEME: 


按照 
言 轧 逻辑 意义 


按照 TRA 


: 真实 信息 、 
信息 传递 方向 : 
言 息 生 成 领域 : 
信息 应 用 部 门 : 
言 息 来 源 : 
言 息 载 体 性 质 : 


携带 信息 的 信和 号 


语法 信息 、 
实在 信息 、 
客观 信 息 、 
有 用 信息 、 


语义 信息 、 
先 验 信息 、 
主观 信息 ; 
无 用 信息 、 
虚假 信息 、 
We E. Rs ES 
"E HER IID > El 然 信 息 WW v 
工业 信息 、 农 业 信 息 、 
文化 信息 、 经 济 信 息 、 
语 产 信息 、 图 像 信 息 、 
计算 机 信息 A 

T AR TE 


信息 IND 


性 质 : 连续 


文字 信息 


语 用 信 A. , 
实 得 信 息 , 
干扰 信息 ; 
不 定 信息 ; 
社会 信息 INS S 思 维 信息 x 
军事 信息 SS SN 政治 


市 场 信 息 、 管理 信息 IRD 5 
文字 信息 、 数 据 信 息 、 


信息 PUN 离散 信息 Wy 半 和 连续 


B X M 科技 信 


- 


、 电 磁 信息 ISSN v 光学 f& 1 


信息 人 No 


ES 


INI 


I9 我 们 研究 的 内 容 


a 最 重要 的 分 类 方法 是 按照 信息 性 质 的 分 类 
a 信息 性 质 分 类 的 三 个 基本 类 型 


语义 信息 


连续 信 ， a pede 


语法 信息 


离散 信息 | 全 “下 
m 


语 用 信息 
a 按照 事物 的 运动 方式 ， 信 息 可 进一步 分 为 概率 信息 、 偶 发 
信息 、 确 定 信息 、 模 糊 信 息 ; ENI ADAH BO 和 无 限 
状态 。 香农 信息 人 NS 论 主要 研究 语法 信息 NT qi 的 概率 入 &. 





(3) 香农 信息 论 的 缺陷 


香农 定义 信息 的 出 发 点 是 假定 事物 状态 可 以 用 一 个 经 典 
合 论 为 基础 的 概率 模型 来 描述 。 实 际 存在 的 茶 些 事物 运 
动 状态 要 寻找 一 个 合适 的 概率 模型 往往 是 非常 困难 的 。 茶 
些 情 况 下 ， 这 一 模型 不 一 定 存 在 。 

D 香农 定义 信息 的 度量 没有 考虑 收 信 者 的 主观 性 和 主观 意 
义 ， 也 撒 开 了 信息 的 具体 含义 、 上 有 具体 用 途 、 重 要 程度 和 引 
起 的 后 果 等 元 素 。 这 就 与 实际 情况 不 完全 一 致 。 

香农 信息 的 定义 和 度量 是 科学 的 ， 能 反映 信息 的 茶 些 
本 质 ， 但 却 是 有 缺陷 的 、 有 局 限 的 。 这 样 ， 它 的 适用 范围 
会 受到 严重 影响 。 





1.3 信息 论 的 起 源 、 发 展 及 研究 内 容 


(1) 信息 传输 手段 的 五 次 重大 变革 
(2) 信息 论 的 形成 和 发 展 

(3) 信息 论 的 研究 对 象 、 目 的 和 内 容 
(4) 香农 信息 论 的 科学 体系 

(5) 本 课程 的 内 容 

(6) 信息 科学 的 发 展 


(1) 信息 传输 手段 的 五 次 重大 变革 


Q) 语言 产生 : 人 们 用 语言 准确 地 传递 感情 和 意图 ， 使 语言 成 为 伟 
说 信息 的 重要 工具 。 

@) 文字 产生 :， 人 类 开始 用 书信 的 方式 交换 信息 ， 使 信息 传递 的 准 
确 性 大 为 提高 。 

© RIAIR: 使 信息 能 大 量 存储 和 大 量 流通 ， 并 显著 扩大 了 信 
息 的 传递 范围 。 

Oa 
展 ， 这 一 时 期 还 沽 生 了 无 生 电 广播 和 电视 ， 更 深入 的 问题 :如 何 定量 
研究 通信 系统 中 的 信息 ， 怎 样 更 有 效 、 更 可 靠 传递 信息 

© 计算 机 与 通信 结合 : 促进 了 网 络 通信 的 发 展 ， "TT 综合 业务 
数字 网 的 出 现 ， 给 人 们 提供 了 除 电话 服务 以 外 的 多 种 服务 ， 使 人 类 社 
会 逐渐 进入 了 信 息 化 BA. 


D 信息 论 的 形成 和 发 展 


Ej 1948: 信息 论 学 科 诞 生 : 1948 年 ， 香 农 发 表 论 文 “A mathematical 
theory of communication”。 同 时 维 纳 提出 了 最 佳 滤波 理论 ， 成 为 信息 论 的 一 个 
BED. 

a 五 十 年 代 : 信息 论 在 学 术 界 引起 了 巨大 反响 。 
1959F: 香农 为 各 种 信 源 编码 的 研究 黄 定 基础 : 发 表 论文 “Coding 
theorems for a discrete source with a fidelity criterion”， 数 据 压 缩 理论 与 技术 成 
为 信息 论 的 重要 分 支 。 

ETEK: 信道 编码 技术 有 较 大 进展 。 信 道 编码 成 为 信息 论 重 要 分 支 . 
1961 年 : 香农 的 重要 论文 “ 双 路 通信 信道 "开拓 了 多 用 户 信息 理论 的 研究 。 

o 七 十 年 代 : 有 关 信 息 论 的 研究 ， 从 点 对 把 间 的 单 用 户 通信 推广 到 多 
用 户 系 统 的 研究 。 密码 学 成 为 信息 论 重要 分 支 。 信 息 安全 的 重要 性 。 

s» 目前 的 发 展 


(2) 信息 论 的 形成 和 发 展 


a ”信息 论 的 创始 人 


-信息 科学 的 创立 是 以 信息 理论 (简称 信息 

论 ) 的 建立 为 标志 的 。 

a ”美国 科学 家 香农 〈C. E. Shannon) 在 1948 年 
和 1949 年 先后 发 表 的 两 篇 文章 “The 
mathematical theory of communication” 和 
"Communication in the presence of 
noise", XE J f eH]. 

a 香农 在 这 两 篇 论文 中 ， 讨 论 了 信息 的 度量 、 信 
县 特征 、 信 息 传 输 速 率 、 信 道 容 量 、 干扰 对 信 
县 传输 的 影响 等 问题 ， 全 部 理 让 从 建立 在 信 Ie 
可 以 度量 的 基础 上 ， 但 他 没有 给 出 信息 的 定 
义 ， 只 是 提出 问题 ， 分 析 问 题 ， 得 出 结论 。 


D 信息 论 的 形成 和 发 展 


2 美国 另 一 科学 家 维 纳 CN. Wiener) 出 版 了 
“Extrapolation, Interpolation and 
Smoothing of Stationary Time Series” 4i 
“Control Theory” 这 两 本 名 著 。 

a 维 纳 是 控制 论 领域 的 专家 ,重点 讨论 微 屁 信号 
的 检测 理论 ， 并 形成 了 信息 论 的 一 个 分 文 。 

a 他 对 信息 作 了 如 下 定义 : 信息 是 人 们 在 适应 外 
部 世界 和 控制 外 部 世界 的 过 程 中 ， 同 外 部 世界 
进行 交换 的 内 容 的 名 称 。 


(2) 信息 论 的 形成 和 发 展 


0 信息 是 不 是 物质 ? 有 没有 能 量 的 属性 ? 与 物质 、 
能 量 的 关系 是 什么 ? 

Shannon 和 Wiener 没 有 给 出 上 述 问 题 的 解答 ， 随 
着 信息 理论 问 通 信 以 外 的 学 科 特 别 是 癌 社 会 科学 
领域 的 渗透 ， 人 们 为 了 弄 清 这 些 问题 进行 了 很 多 
研究 ， 但 直到 现在 也 还 没有 定论 。 


E 





(2) 信息 论 的 形成 和 发 展 a 
D 信息 论 的 形成 和 发 展 on 


一 般 认为 信息 论 的 创始 人 是 香农 和 维 TF 


“ 维 纳 ， 美 国 数学 家 ， 控 制 论 的 创始 人 。1894 年 11 月 26 日 生 于 密 苏 
EE NA 9 

。 维 纳 在 其 50 年 的 科学 生涯 中 ， 先 后 涉足 哲学 、 数 学 、 物 理学 和 工 
程 学 ， 最 后 转向 生物 学 ， 并 且 在 各 个 领域 中 都 取得 了 丰硕 的 成 果 ， 
称 得 上 是 恩格斯 颂扬 过 的 、 本 世纪 多 才 多 艺 和 学 识 渊博 的 科学 巨人 。 


他 一 生发 表 论 文 240 多 篇 ， 著 作 14 本 ， 自 传 两 本 《昔日 神童 》 和 
《我 是 一 个 数学 家 》。 

“ 维 纳 的 主要 成 果 有 八 个 方面 建立 维 纳 测度 、 引 进 巴 拿 赫 一 维 纳 
空间 、 位 势 理 论 、 发 展 调和 分 析 、 发 现 维 纳 一 霍 普 夫 方法 、 提 出 维 


纳 滤波 理论 、 开 创维 纳 信息 论 、 创 立 控制 论 。 





= 目前 的 发 展 


> “家 全 lie: 
息 概念 的 深化 ; 
"ka. 息 理论 和 多 重 相关 信 源 编码 理论 的 发 展 和 应 用 ; 
通信 网 的 一 般 信 息 理论 研究 ; 
言 息 率 失 真理 论 的 发 展 及 其 在 数据 压缩 和 图 像 处 理 中 的 应 用 ; 
言 息 论 在 大 规模 集成 电路 中 的 应 用 ; 
JE 磁 记 录 信 道 的 研究 等 。 
> 纠 错 码 理论 : 在 工程 方面 应 用 及 最 优 编 码 方法 研究 。 
> 维 纳 信 息 论 : 对 量子 检测 和 估计 理论 、 非 参数 检测 和 估计 理论 以 及 
非 线 性 检测 与 估计 理论 的 研究 。 


(3) 人 信息论 研究 的 对 象 、 


信息 论 研究 的 对 象 和 目的 
D 信息论 研 究 的 内 容 
O 香农 和 维 纳 理 论 的 区 别 





目的 和 内 容 


(信息论 研 究 的 对 象 和 目的 


研究 对 象 : 

Ht | 对 Aa REBUY. MALE 
pita 过 程 、 数 理 
近世 代数 传输 、 提 取 











REN 


Hi P3 dy E dM 
1.3 fi iz 1 zA RICT 


研究 目的 : 可 靠 性 、 有 
效 性 和 和 安全 性 





@) 信息 论 的 研究 内 容 


a 信息 论 要 回答 的 一 些 最 基本 的 理论 问题 
,什么 是 信息 ? 如 何 度量 ? 

;在 给 定 的 信道 中 ， 信 息 传输 有 没有 极限 ? 

;信息 能 否 被 压缩 和 恢复 ? 极限 条 件 是 什么 ? 

o SERENE OTR MED iS 


o 在 允许 一 定 失真 (Distortion ) 的 条 作 下 ， 信息 能 人 否 被 更 
大 程度 地 压缩 ? 极限 条 件 是 什么 

o RIMTAI RRASA HEET 

o 现实 中 ， 接 近 极 限 的 设备 是 否 存 在 ? 











@) 信息 论 的 研究 内 容 


a 信息 论 的 成 功 就 在 于 首先 对 这 些 问 题 给 出 了 
明确 的 回答 ， 这 就 是 信息 量 、 信 道 容 量 、 
(Entropy) ~ R ARREA ZN 
Shannon 的 三 个 定理 和 Shannon 公 式 等 。 

a 事实 上， 回答 上 述 问 题 只 是 信息 论 要 解决 的 
问题 中 的 一 部 分 ， 是 建立 在 Shannon 研 究 
成 果 的 基础 上 ， 被 称 为 Shannon 信 息 论 或 
狭义 信息 论 。 





@) 信息 论 的 研究 内 容 


a 信息 论 基础 : bf V5 3L33 353.2235 23 57 
究 信息 测度 、 信 道 容量 ONE 与 这 三 个 概念 相对 应 的 香 
农 三 定理 ， 信 源 编码 ， 信道 纺 码 。 


a 一 般 信 息 论 :， 主 要 研究 信息 传输 和 处 理 问题 。 除 香农 基本 理论 之 
外 ， 还 包括 噪声 理论 、 信和 号 滤波 和 预测 、 统计 检测 和 估计 理论 、 调 制 
理论 。 后 一 部 分 内 容 以 维 纳 为 代表 。 


a 广义 信息 论 : 是 一 门 综合 性 的 新 型 学 科 - 信息 科学 。 至 今 没 有 严 
格 的 定义 。 凡 是 能 够 用 广义 通信 系统 模型 描述 的 过 程 或 系统 ， 者 能 用 
信息 基本 理论 来 研究 。 不 仅 包 括 一 般 信息 论 的 内 容 ， 还 包括 如 医学 、 
EMS, CEZ, HEF, ISI LER ELZ, AAF 

经 济 管理 中 有 关 信 息 的 问题 。 反 过 来 ， 所 有 研究 信息 的 识别 、 控制 、 
提取 、 变 换 、 传 输 、 处 理 、 存 储 、 显 示 、 价 值 、 作 用 和 信息 量 的 大 小 
i ARE BIS 现 这 些 原理 的 技术 手段 的 工程 学 科 ， 都 属于 广义 信 





@ 信息 论 的 研究 内 容 
狭义 信息 论 
a 狭义 信息 论 主要 总 结 了 Shannon 的 研究 成 
果 ， 因 此 又 称 为 Shannon 信 息 论 。 


2 在 信息 可 以 度量 的 基础 上 ， 研 究 如 何 有 效 、 可 
靠 地 传递 信息 。 


a 有 效 、 可 车 地 传递 信息 必然 贯穿 于 通信 系统 
从 信 源 到 信箱 的 各 个 部 分 ， 


a 狭义 信息 论 研究 的 是 收 、 发 端 联合 优化 的 问 
" Tf] EE KATE PP S T 


a 它 是 通信 中 客观 存在 的 i 题 的 理论 提升 。 





@ 信息 论 的 研究 内 容 
一 般 信息 论 
s 研究 从 广义 的 通信 引出 的 基础 理论 问题 : 
3 Shannon Hi; 
3 Wiener 的 微弱 信号 检测 理论 。 
a 微弱 信号 检测 又 称 最 佳 接收 
a 是 为 了 确保 信息 传输 的 可 靠 性 ， 研 究 如 何 从 噪声 和 
干扰 中 接收 信道 传输 的 信号 的 理论 。 
s 主要 研究 两 个 方面 的 问题 : 从 噪声 中 去 判决 有 用 信 
号 是 否 出 现 和 从 噪声 中 去 测量 有 用 信号 的 参数 。 
该 理论 应 用 近代 数理 统计 的 方法 来 研究 最 佳 接收 的 
问题 ， BSA RA ere tee Ta a 





@) 信息 论 的 研究 内 容 


一 般 信 息 论 


a 这 里 的 “接收 机 ”只 是 对 受到 噪声 与 干扰 “淹没 ”及 破坏 

的 信号 进行 数学 处 理 ， 主 要 目的 是 将 其 设计 为 “最 佳 ”。 
a 所 谓 “ 最 佳 " 总 是 同 茶 些 特定 的 假设 条 件 及 茶 个 准则 相 
联系 的 ， 因 此 这 里 的 最 佳 接收 机 是 在 给 定 条 件 下 ， 能 
够 最 好 满足 所 给 准则 的 接收 机 。 在 通信 系统 中 常用 的 
有 最 小 差错 准则 、 最 大 似 然 准 则 最 小 均 方 误差 准则 等 。 
言 号 检测 具体 又 分 为 确 知 信号 的 检测 和 具有 随机 信和 号 
参量 的 信号 的 检测 等 ， 其 重 氮 在 接收 端 ， 研 究 如 何 从 
干扰 中 提取 信息 。 





@) 信息 论 的 研究 内 容 


一 般 信息 论 
a 除 此 之 外 ， 一 般 信 息 论 的 研究 还 包括 : 噪声 理 
论 、 信 号 滤波 与 预测 、 统 计 检 测 与 估计 理论 、 

调制 理论 、 信 号 处 理 与 信号 设计 理论 等 。 

2 可 见 它 总 结 了 Shannon 和 Wiener 以 及 其 他 学 者 
的 研究 成 果 ， 是 广义 通信 中 客观 存在 的 问题 的 
理论 提升 。 
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ORE 香农 和 维 纳 理论 的 区 别 


a 香农 理论 : 香农 研究 的 对 象 是 从 信 源 到 信 宿 之 间 的 全 过 
程 ， 是 收 、 发 端 联合 最 优化 问题 ， 其 重点 是 放 在 编码 。 他 
指出 ， 只 要 在 传输 前 后 对 消息 进行 适当 的 编码 和 译 码 ， 就 能 保证 在 干 
扰 的 存在 下 ， 最 佳 地 传送 和 准确 或 近似 地 再 现 消息 。 为 此 发 展 了 信息 
测度 理论 、 信 道 容量 理论 和 编码 理论 。 

a ER: 维 纳 研究 的 重点 是 在 接收 端 。 研 究 一 个 信号 
如 果 在 传输 过 程 中 被 某 些 因素 (如 噪声 、 非 线性 失真 等 ) 
所 干扰 时 ， 在 接收 端 怎 样 把 它 恢复 、 再 现 ， 从 干扰 中 提取 
出 来 。 在 此 基础 上 ， 创 立 了 最 佳 线性 过 滤 理 论 ( 维 纳 滤波 器 ) 、 统 
计 检 测 与 估计 理论 、 噪 声 理论 。 


(4) 香农 信息 论 的 科学 体系 


香农 信息 论 


无 噪声 有 噪声 网 络 信道 

1 | 1 1 保密 系统 的 
有 失真 信 源 编码 无 失真 信 源 编码 信道 编码 定理 网 息 理 论 信息 理论 
| Shannon(1948) | 
| Feinstein(1954) Shannon(1961) | Diffie sii Hellmen( 1976) 
|] Gallager(1965) Cover(1972) | x FEH m 

率 失真 理论 ”等 长 编码 ” 变 长 编码 Cover(1975) aM 
定理 定理 


| 
| Shannon(1949) 


Shannon | 
(1949) | Shannon(1948) Shannon(1948) 


(1959) | McMillan( 1953) McMillan(1956) 
Gallager(1968) | ! 
A | 
Berger(1969) > 码 构成 网 络 最 佳 码 
Huffman 码 (1952) 
Fano 码 


算术 码 (1976,1982) 
LZ 码 (1977,1978) 


MH 码 (1977) 





代数 编码 卷 积 码 
Hamming(1950) Elias(1955) 


注 : 用 方 框 表 示 的 是 各 自 为 独立 的 编码 体系 Viterbi(1967) 


图 1.5 香农 信息 论 的 科学 体系 





(5) 本 课程 的 内 容 


B 信息 论 基 础 一 香农 信息论 。 
s 主要 包括 
> 信息 测度 - MA 
> 信道 容量 
> 信息 率 失 真 函 数 
> 香农 三 定理 : 无 失真 信 源 编码 定理 
信道 编码 定理 
限 失真 信 源 编码 定理 
> 信 源 编码 
> 信道 编码 
> 保密 信息 AS ,理论 





信息 科学 的 发 展 


(0) 


思科 学 已 成 为 世界 各 国 最 优先 发 展 的 科学 


a 信 ， 
之 一 


SERI 


LIEBE qe 


ee 





(6) 信息 科学 的 发 展 


a ”信息 科学 的 定义 及 迅速 发 展 的 背景 
2 信息 科学 是 研究 信息 的 获取 、 存 储 、 传 输 、 
加 工 处 理 和 利用 等 内 容 的 技术 科学 。 
2 CSR. WE. MR. Ear, DEES Eh 
学 科 以 及 众多 技术 学 科 交 叉 形 成 新 领域 ， 是 
发 展 和 更 新 最 为 迅速 的 撤 木 科学 研究 领 若 之 


2 信息 科学 与 其 它 科学 技术 交 文 将 派生 出 大 量 
的 新 概念 、 新 构思 、 新 技术 和 边缘 学 科 。 
a 其 核心 是 现代 通信 加 信息 技术 。 





(6) 信息 科学 的 发 展 


E 


国家 信息 基础 结构 

永 称 “信息 高 速 公路 "”， 是 一 个 具有 大 容量 、 
高 速度 的 电子 数据 传输 系统 ， 最 早 由 美国 联 
邦 政府 引导 工业 界 提 出 并 逐步 建立 ， 人 简称 NI 
(National Information Infrastructure) . 
它 以 现代 信息 技术 为 基础 ， 以 光 导 纤维 网 络 
为 骨干 ， 连 接 全 美的 学 校 、 研 究 机 构 、 企 业 、 
SES NN 
丰富 的 信息 资源 。 





(6) 信息 科学 的 发 展 


5 一 般 认 为 ，NNI 由 通信 网 、 计 算 机 、 各 种 终 
端 设备 、 信 息 和 人 等 5 个 基本 部 分 组 成 ， 它 
的 主要 特点 是 : 
A 


a 以 新 的 方式 和 存储、 传输 和 处 理 大 量 的 数据 ; 

a 是 一 个 开放 的 系统 ， 通 过 现 有 的 电话 线 、 有 线 
电视 接口 或 其 它 通 用 接口 ， 进 入 每 个 人 的 生活 
以 共 译 信息 资源 。 





(6) 信息 科学 的 发 展 


信息 产业 
信息 产业 在 世界 范围 内 正在 由 先导 产业 逐步 变 为 
主导 产业 。 


从 微观 上 看 ， 表 现 为 单位 产品 的 价格 构成 中 ， 能 
E DUST MUNIRI 


从 宏观 上 看 ， 表 现 为 国民 生产 总 值 (GDP) 中信 
息 产 业 所 占 的 比重 增加 。 

一 个 国家 信息 产业 的 发 展 水 平 将 是 衡量 该 国 社会 
经 济 总 体 发 展 和 现代 化 程度 的 重要 标志 之 一 。 





(6) 信息 科学 的 发 展 


a ”信息 与 通信 工程 一 级 学 科 

a 九 十 年 代 中 期 ， 国 家 在 进行 科学 研究 的 
学 科 规划 和 调整 时 ， 将 工程 学 科 原来 
100 多 个 一 级 学 科 调 整 为 31 个 ， 但 却 将 
原来 的 “电子 与 信息 系统 ”调整 为 “信息 
与 通信 工程 "和 “电子 科学 与 技术 ”两 个 
一 级 学 科 。 

a 信息 与 通信 工程 下 设 “ 通 信和 与 信息 系统 ” 
和 “信号 与 信息 处 理 ” 两 个 二 级 学 科 。 





(6) 信息 科学 的 发 展 


a 信息 理论 是 信息 科学 的 基础 

a 强调 用 数学 语言 来 拍 述 信息 科学 中 的 共性 问 
题 及 解决 方案 

a 这 些 共性 问题 分 别 集中 在 狭义 信息 论 、 一 般 
信息 论 和 广义 信息 论 中 


(6) 信息 科学 的 发 


Information 
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Portfolio Theory 
Kelly Gambling 





概率 论 回顾 


随机 变量 和 ,7 分 别 取 值 于 集合 fp 
PHY, Vos Viste Vy f: 
(Ü | OS p(x), p(y;), px; ! yj) PO, x), POY) S1 


Q) Ype0-LY po) -LY pls /y,)=1 


DPW, /*)=1 >, 2 LED EE 
j=l j=l i=l 


概率 论 回顾 
(3) Y po») = p(y ,): > pl j) = P(x) 


(4) psy) 7pr(x)pGQy;/ xj) = p; PG / y;) 
(5 ” 当 X 与 7 相互 独立 时 , p(y, /x,) = p(y;,)， 
px y;)= p(X), Py) = P(X) PO) 


(6) poly) = LD p Ix) EOD 


> pGxy,) > pxy) 
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思考 题 


一 位 朋友 很 不 赞成 “通信 的 目的 是 传送 信息 ”及 
“消息 中 未 知 的 成 分 才 算 是 信息 "这 些 说 法 。 他 
举例 说 : RS WwW KAS = FAIA RR 
演 ， 百 看 不 大 ， 大 师 正在 唱 的 正在 表演 的 使 我 
愉快 ， 将 要 唱 的 和 表演 的 我 都 知道 ， 照 你 们 的 
次 法 电视 里 没 给 我 任何 信息 ， 怎 么 能 让 我 接受 
Ne? 请 从 信息 论 的 角度 对 此 做 出 解释 。 (REX 
AR RIED 义 信息 论 研究 的 内 容 去 理解 
0 解释 ) 





